วัดกำแพงตั้งขึ้นเมื่อ พ.ศ. 2300 ได้รับพระราชทานวิสุงคามสีมาเมื่อ พ.ศ. 2468[1] เดิมชื่อ วัดสว่างอารมณ์ ไม่ทราบว่าผู้ใดเป็นคนสร้างและได้สร้างขึ้นมาตั้งแต่เมื่อใด จากสภาพวัดคาดว่าวัดนี้เคยรกร้างมาแล้วอย่างน้อย 2 ครั้ง ดังจะเห็นได้ว่ามณฑปและวิหารซึ่งได้สร้างอยู่บนเนินของซากอาคารสถานที่ปรักหักพังอยู่ก่อนแล้ว และต่อมามณฑปก็พังทลายลงมาเมื่อวันที่ 16 มิถุนายน พ.ศ. 2518 ส่วนวิหารก็อยู่บนเนินสูงที่ปรักหักพังมาก่อนอีกเช่นกัน วิหารดังกล่าวยังคงอยู่ถึงปัจจุบัน เป็นวิหารขนาดย่อม สร้างด้วยการก่ออิฐถือปูน หลังคามุงกระเบื้องดินเผา เพดานไม้ทาสีเทาอมดำ มีภาพดารกหรืออาจจะเป็นดอกจันสีทองซึ่งไม่ชัดเจนนัก ตรงกลางของดอกจันบางดอกมีขอห้อยโซ่ มีโคมแก้วแขวนอยู่เพื่อจุดบูชาในวันสำคัญทางศาสนา ภายในวิหารประดิษฐาน หลวงพ่อโต เป็นพระพุทธรูปที่ทำด้วยหินทรายแดง ซึ่งนิยมสร้างกันมาก่อนสมัยพระเจ้าปราสาททอง

ข้างอุโบสถเป็นพระปรางค์ อุโบสถมีขนาดย่อม มีกำแพงแก้วล้อมรอบเตี้ย ๆ ฝาผนังอุโบสถก่ออิฐถือปูนขึ้นมาเพียงขอบหน้าต่าง ฝาไม้สัก มีเพิงแขนนางทั้งสองข้างตลอดความยาวของตัวอุโบสถ มีพาไลอยู่ด้านหน้า ด้านหลังปิดทึบไม่มีประตูหน้าต่าง หลังคามุงด้วยกระเบื้องกาบู อุโบสถนี้ได้ปรักหักพังไปเมื่อคืนวันที่ 12 สิงหาคม พ.ศ. 2506 ส่วนพระปรางค์ซึ่งมีความสูงจากพื้นดินถึงปลายยอดเพกาประมาณ 12 วา ได้รับการบูรณปฏิสังขรณ์

สาเหตุที่ชื่อวัดกำแพงมาจากการที่ในสมัยพระบาทสมเด็จพระจอมเกล้าเจ้าอยู่หัว หลวงพ่อคง พระภิกษุซึ่งบวชจำพรรษาอยู่ที่วัดกำแพงบางจาก ได้แวะจอดเรือค้างคืนที่หน้าวัดร้างสว่างอารมณ์ และต่อมาได้บูรณะวัดให้กลับมาเป็นวัดที่มีพระภิกษุสงฆ์ประกอบกิจพระศาสนาได้ดังเดิม ชาวบ้านมักจะเรียกหลวงพ่อคงว่า "ท่านที่มาจากวัดกำแพง" จนเรียกกันต่อมาว่า "ท่านวัดกำแพง" ในที่สุดได้เรียกวัดนี้ว่า "วัดกำแพง" จนทุกวันนี้[2]